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Interaction Design, Cap. 11-14, J. Preece 




Resumo Aula Anterior 



Sumario 



» Tipos de dialogo 



-Menus, Formularios, LC e MD 

-Principals caracteristicas, vantagens e 
desvantagens 

• Principios de navegagao 

-Menus = WWW 

• Novos paradignnas de interacgao 
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Avaliagao conn utilizadores 



Local de avaliagao ' 

-Laboratorio ou local de trabalho 
Metodos de Avaliagao 
-Observagao 
-Interrogagao ~ 

-Monltorlzagao fislologica 
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Avaliacao de Usabilidade 



Testa a usabilidade e funclonalldade do 
sistema 



Metodos Analitlcos: 

- Avaliagao Heuristica (Avaliagao por peritos) 
-Avaliagao Predltlva 

• GO|V|S, CCT e Km 



• Metodos Empfricos 
(Avaliagao com utilizadores): 

- Requer um prototipo funcional 
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Porque testes com utilizadores ? 



' So e possivel dizer se uma 
interface uti lizador e boa 
quando ? ^^^ 

- Quando e So se for 
usada! 

• Outros metodos recorrem a 
peritos. Problemas ? 

- Podem saber demais 

- Podem nao saber o suficiente 
sob re as tarefas 

• Conclusao: e dificil prever o 
que utilizadores reais fazem 
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Testes com Utilizadores 



Envolve medir o desempenho de 

utilizadores tipicos realizando 

tarefas tipicas g 

• Objective i 

-Obter dados objectivos de quanto 
usavel o sistema e 

Utiliza uma combinagao de tecnicas 

-Observagao 

-Questionarios 

- Entrevistas , 



IV.3 - Avaliacao com Utilizadores 



Condicoes dos Testes 



• Escolher local dos testes 

- Laboratorio ou no Ambiente de trabalho 

• Colocar algum cuidado na 

- Escoiha dos utilizadores representativos 

- Escoiha das tarefas para os testes 

• A realizagao das tarefas nao deve exceder 1 
hora 

• Usar as mesmas condigoes para todos os 
participantes nos testes 
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Avaliacao no Laboratorio 



• utilizadores sao levados para laboratorio 



Vantagens: 

- Equipamento especializado disponivel 

^^ • Gravagao de audio e video, Espelhos "transparentes" 

- Ambiente sem interrupgoes e controlado 

Desvantagens: ^^ 

- Falta COntextO (rufdo de fundo, interrupgoes, etc.) 

- Dificil observar varios utilizadores a cooperar 

' Apropriado para i 

- Sistemas que estarao localizados em sitios 
inacessiveis ou perigosos (estagoes espaciais) 
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Avaliacao no Local de Trabalho 



' Designers vao ao local de trabalho 



• Vantagens: 

- Ambiente natural 

- Compreende-se o contexto 
(ruido de fundo e interrupgoes) 

- Permite ver a interacgao entre utilizadores 

Desvantagens: 

- Distracgoes e Muito ruido 

- Observagao mais dificil 

Apropriado para 

- Avaliagoes onde o contexto e fundamental 
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Escolher participantes? 



Representantes de potenciais utilizadores 

- Conheclmento especifico do trabalho / vocabulario 

- Conheclmento das tarefas 

• Caso nao consiga utilizadores reals, arranjar 
aproximagoes 

- Sistema para medicos -> Usar estudantes de medicina 

- Sistema para Eng. Informaticos -> Usar alunos da LEIC 

Usar incentivos a participagao 

• Quantos Utilizadores? " ' 

- Depende do calendario de testes (tempo) ^ 

- Disponibilidade dos participantes 

- Custos de realizagao dos testes 

- Tipicamente entre 10 a 20 utilizadores 
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Avaliar Paginas Web - N^ utilizadores 
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• Assumindo que 

- Tempo medio da tarefa = 300 seg 

- Grau de confianga = 90% 

• 90% das vezes os valores obtidos estao no intervalo de confianga 

• Margens de erro 

- 10 utilizadores => 27% margem erro -> [219, 381] 

- 20 utilizadores => 19% margem erro -> [243, 357] 

• http://www.useit.com/alertbox/quantitative_testing.html 
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Consideracoes Eticas 



» Por vezes testes sao muito stressantes 

- utilizadores abandonam em lagrimas por ^ 
enganos 

» Tern que se garantir o aliviar desse stress 

- Criar ambiente calmo, Permitir abertamente | 
interrupgoes nos testes ^ 

- Clarificar que o que esta em avaliagao J 
e o sistema nao as pessoas 

- Garantir a confidencialidade dos dados 
individuals obtidos 

* Pode ser necessario obter autorizagoes 
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Metodos de Avaliagiao c/ Utilizadores 



Tecnicas de Observacao 



Tecnicas de Observagao 



Tecnicas de interrogagao 

- Entrevistas 

- Questionarios 



• Metodos de monitorizagao fisiologica 

- Eyetracking 

- Medigao batimentos cardiacos 

- Condutividade da pele 
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Observar uti izador a rea izar tarefas 
com o sistema 



Metodos 
-Observagao 
-Pensar em voz alta 
-i^letodos de recollia de dados 
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Observagao Dire cta 

O observador 

-toma notas do comportamento 
do utilizador 

-regista o desempenino do 
utilizador 

Tecnica intrusiva e subjectiva 

Dificuldades 

-o observador decide o que e e 
nao e importante 

- o observador tern que 
contextualizar-se no ambiente 
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Observagao 
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Observagao Indirecta 



Natureza ^ 

- registo video ' 

- simultaneo com outros 
registos - teclas e/ou 
interacgoes (opcional) 



Pensar em Voz Alta 



Observagao 





• Dificuldades 

- a analise pode ser complexa e demorada 

- distanciamento dos utilizadores (perda de 
informagao) 

- requer planeamento previo (localizagao das 
camaras, etc.) 
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Observagao 



' Ajuda a saber o que os utilizadores pensam para 
alem do que fazem 

• Solicitar aos utilizadores que falem enquanto 
executam tarefas 

- Dlgam o que estao a pensar 

- Dlgam o que estao a tentar fazer ' 

- Dlgam que problemas ocorrem enquanto estao a trabalhar 

- Dlgam o que estao a ler ■ 

• Gravar ou tomar notas cuidadas 

- De forma a que seja possivel reconstruir o que eles 
estavam a fazer 
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Pensar em Voz A lta 

Observagao 
Estimulem o utilizador a falar continuamente 

- Os silencios causam problemas 

observador tem que Intervlr (Intruslvo) 

- dols utilizadores falam entre si enquanto executam 
as tarefas (mals natural) 

• 'diga-me o que esta a pensar ' 

Ajudem apenas nos topicos previamente 
decididos 

- Registem qualquer auxilio que prestem 
• Gravagao 

- Usem um cronometro 

- Tomem notas 
Se possivel fazer registo audio e video 

IV.3 - Avaliacao com Utilizadores 



Pensar em Voz Alta 



Observagao 



• Vantagens 

-Simpiicldade - nao requer muita tecnica 

- Pode fornecer visoes uteis 

- Pode mostrar como e que o sistema e 
usado ' 



• Desvantagens 

-Informagao (recolhida) subjectiva e 
selectiva 

- Pode dificultar a execugao das tarefas 
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Metodos de Reco iha de Dados 

, , , . Observagao 

Papel e lapis ^^^m 

- Barato, mas llmltado pela velocldade de escrlta 

• Gravagoes audio 

- Bom para "pensar em voz alta", mas diflcll de sincronlzar 
com outras notas (ex. escrltas) 

• Gravagoes video 

- Ve-se utilizador em acgao, preclso e reallsta 

- Intruslvo e necesslta de equlpamento especial 

• Recoiha automatica de dados pelo software 

- Teclas presslonadas/acgoes desencadeadas (log) 

- Registo das Interacgoes (em tempo real) 

- Barato, nao Intruslvo, mas dificll de anallsar 

• Uso frequente de todas as opgoes combinadas 
(video, audio, teclas, interacgoes) 
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Tecnicas de Interrogacao 



• Recoiha da visao subjectiva dos utilizadores 
- Perguntando directamente ^ 



• Vantagens: ] 

- Obtemos a visao do utilizador sobre o sistema 
(diferente da do designer) 

- Facil e simples de gerir 

• Metodos I 

- Entrevistas | 

- Questionarios ' 
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Entrevistas ^ ^ 

Tec. Interrogagao 

• Conversa com utilizador baseada num 
conjunto de perguntas preparadas 

• Metodo informal, subjective e 
relativamente barato 

Vantagens 

- Pode ser guiada para se adaptar ao contexto 

- Pode-se explorar alguns assuntos 

- Pode identificar problemas nao previstos 

Desvantagens 

- Muito subjectiva (depende do rurno) 

- Consome muito tempo 
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Entrevistas: Recomendagoes 

Tec. Interrogagao 

• Tornem a entrevista agradavel 

(estao a fazer-vos urn favor) I 

• Curtas, directas e sem perguntar muito 

• Envolvam-se no trabalho tanto quanto 
possivel 

• Descubram processes de trabalho 
escondidos por detras das palavras 

Construam interpretagoes e cenarios 
envolvam os utilizadores na discussao 

• Pegam para rever as perguntas 
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Questionarios 



Tec. Interrogagao 



Questionarios 



Tec. Interrogagao 



Perguntas senn annbiguidades e 
definidas de inicio 

- Pre-testar o questionario 

Tipos de perguntas 

- Fechadas 

• Sim, nao, nao sabe/nao responde 

• escala 

• ordenagao (explicita ou implicita) 

-Abertas 



Vantagens 
-Mais rapido de fazer 

- Permite chegar a mais utilizadores 

1 - Pode ser analisado com mais rigor 
' (estatistica) 

Desvantagenn 

- Menos flexivel - So se obtem respostas 
sobre o questionado 

-Probabilidade de respostas 
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Metodos de Monitorizagiao Fisiologica 



EyeTracking (Seguimento do olhar) 



Medidas Fisiologicas 

-Batimento cardiaco 
-Respiragao ■ 

-Condutividade da pele (suor) 
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EyeTracking 



• Equipamento para seguir o olhar 

- Montado na cabega ou na secretaria 

• Movimento do olhar reflecte a 
quantidade de processamento 
cognitivo que um ecra exige 

• As medigoes podem ser: 

- Numero e duragao das fixagoes - 
indicam nivel de dificuldade com o 
ecra apresentado 

- Identificagao dos caminhos seguidos 
pelo olhar ate aos alvos - Indica para 
onde as pessoas olham e com que 
frequencia 
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EyeTracking - Leitura de Paginas Web 





£© 



Manchas vermelhas 

- Mais tempo de focagem 

Manchas amarelas — 

- Olharam um pouco 

Manchas azuis ^ 

- Olharam menos 

Manchas cinzentas 

- Nao olharam 
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Medidas Fisiologicas 



Respostas emocionais associadas a alteragoes fisicas 

- Podem ajudar a determinar a reacgao do utilizador a interface 

- Sensores ligados ao utilizador 

Medigoes podem ser: 

- Actividade cardiaca (incluindo pressao arterial, batimentos) 
- Stress ou irritagao 

- Actividade das glandulas sebaceas - esforgo mental e excitagao 

- Actividade electrica nos musculos - envolvimento na tarefa 

- Actividade electrica no cerebro - tomada de decisoes, atengao 
e motivagao 

Algunna dificuldade em interpretar os sinais recebidos 

- -> l^ais investigagao 




Actividade electrica nos 
musculos 



Galvanic Skin Response 
Sensor 
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Video EyeTracking 



Avaliacao de Usabilidade (Resumo) 



• Avaliagao Heuristica 

- Realizada por peritos 

- Permite avaliar prototipos (PBFs) I 

- Tambem pode ser usada para avaliar produtos 



smsr 



Avaliagao Preditiva 

- Utiliza modelos do utilizador (goms, cct, klm) 

- Estima desempenho na realizagao das tarefas 
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Avaliagao com Utilizadores 

- Requer prototipo funcional 

- E realizada com utilizadores 
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Conclusoes 



• Avaliagao com utilizadores 

-Local ^ 

-Utilizadores 

- Metodos de avaliagao 
Observagao 

• Interrogagao 

• Monitorizagao 

-Videos de exemplos de avaliagao 
-Comparagao dos varies tipos de avaliagao 
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Proxima Aula 



Testes com utilizadores 
• Fases do Teste ^ 



Analise dos dados por metodos estatisticos 

- Teste t 

- Intervalos de Confianga 

- Chi Quadrado M 

Ler 1 

- Interactive System Design, Cap. 10, J 
William Newman 
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